Current advances in recommender systems have been remarkably successful in optimizing immediate engagement. However, long-term user engagement, a more desirable performance metric, remains difficult to improve. Meanwhile, recent reinforcement learning (RL) algorithms have shown their effectiveness in a variety of long-term goal optimization tasks. For this reason, RL is widely considered as a promising framework for optimizing long-term user engagement in recommendation. Despite being a promising approach, the application of RL heavily relies on well-designed rewards, but designing rewards related to long-term user engagement is quite difficult. To mitigate the problem, we propose a novel paradigm, Preference-based Recommender systems (PrefRec), which allows RL recommender systems to learn from preferences about users' historical behaviors rather than explicitly defined rewards. Such preferences are easily accessible through techniques such as crowdsourcing, as they do not require any expert knowledge. With PrefRec, we can fully exploit the advantages of RL in optimizing long-term goals, while avoiding complex reward engineering. PrefRec uses the preferences to automatically train a reward function in an end-to-end manner. The reward function is then used to generate learning signals to train the recommendation policy. Furthermore, we design an effective optimization method for PrefRec, which uses an additional value function, expectile regression and reward model pre-training to improve the performance. Extensive experiments are conducted on a variety of long-term user engagement optimization tasks. The results show that PrefRec significantly outperforms previous state-of-the-art methods in all the tasks.

While many systems have been developed to train Graph Neural Networks (GNNs), efficient model inference and evaluation remain to be addressed. For instance, using the widely adopted node-wise approach, model evaluation can account for up to 94% of the time in the end-to-end training process due to neighbor explosion, which means that a node accesses its multi-hop neighbors. On the other hand, layer-wise inference avoids the neighbor explosion problem by conducting inference layer by layer such that the nodes only need their one-hop neighbors in each layer. However, implementing layer-wise inference requires substantial engineering efforts because users need to manually decompose a GNN model into layers for computation and split workload into batches to fit into device memory. In this paper, we develop Deep Graph Inference (DGI) -- a system for easy and efficient GNN model inference, which automatically translates the training code of a GNN model for layer-wise execution. DGI is general for various GNN models and different kinds of inference requests, and supports out-of-core execution on large graphs that cannot fit in CPU memory. Experimental results show that DGI consistently outperforms layer-wise inference across different datasets and hardware settings, and the speedup can be over 1,000x.

在现实世界中，尽管对该领域的兴趣激增，但在稀疏回报协同环境下进行的加强学习仍然具有挑战性。先前的尝试表明，内在的奖励可以减轻稀疏引起的问题。在本文中，我们提出了一种新颖的固有奖励，该奖励受人类学习的启发，因为人类通过将当前的观察结果与历史知识进行比较来评估好奇心。具体而言，我们训练一个自我监督的预测模型，并保存一组模型参数的快照，而不会产生加法培训成本。然后，我们采用核规范来评估不同快照的预测之间的时间不一致，这可以进一步部署为内在的奖励。此外，提出了一种变异的加权机制，以自适应方式将权重分配给不同的快照。我们证明了所提出的方法在各种基准环境中的功效。结果表明，与其他基于奖励的方法相比，我们的方法可以提供压倒性的最先进性能，而不会产生额外的培训成本并保持更高的噪声耐受性。我们的代码将公开发布以提高可重复性。

尽管不断努力提高代码搜索的有效性和效率，但仍未解决两个问题。首先，编程语言具有固有的牢固结构链接，并且代码的特征是文本表单将省略其中包含的结构信息。其次，代码和查询之间存在潜在的语义关系，跨序列对齐代码和文本是具有挑战性的，因此在相似性匹配期间，向量在空间上保持一致。为了解决这两个问题，在本文中，提出了一个名为CSSAM的代码搜索模型（代码语义和结构注意匹配）。通过引入语义和结构匹配机制，CSSAM有效提取并融合了多维代码功能。具体而言，开发了交叉和残留层，以促进代码和查询的高纬度空间比对。通过利用残差交互，匹配模块旨在保留更多的代码语义和描述性功能，从而增强了代码及其相应查询文本之间的附着力。此外，为了提高模型对代码固有结构的理解，提出了一个名为CSRG的代码表示结构（代码语义表示图），用于共同表示抽象语法树节点和代码的数据流。根据两个包含540K和330K代码段的公开可用数据集的实验结果，CSSAM在两个数据集中分别在获得最高的SR@1/5/10，MRR和NDCG@50方面大大优于基本线。此外，进行消融研究是为了定量衡量CSSAM每个关键组成部分对代码搜索效率和有效性的影响，这为改进高级代码搜索解决方案提供了见解。

从单眼图像中恢复纹理的3D网格是高度挑战的，尤其是对于缺乏3D地面真理的野外物体。在这项工作中，我们提出了网络文化，这是一个新的框架，可通过利用3D GAN预先训练的3D纹理网格合成的3D GAN的生成性先验。重建是通过在3D GAN中搜索最类似于目标网格的潜在空间来实现重建。由于预先训练的GAN以网状几何形状和纹理封装了丰富的3D语义，因此在GAN歧管内进行搜索，因此自然地使重建的真实性和忠诚度正常。重要的是，这种正则化直接应用于3D空间，从而提供了在2D空间中未观察到的网格零件的关键指导。标准基准测试的实验表明，我们的框架获得了忠实的3D重建，并在观察到的部分和未观察到的部分中都具有一致的几何形状和纹理。此外，它可以很好地推广到不太常见的网格中，例如可变形物体的扩展表达。代码在https://github.com/junzhezhang/mesh-inversion上发布

我们考虑垂直逻辑回归（VLR）接受了迷你批次梯度下降训练，这种环境吸引了行业日益增长的兴趣，并被证明在包括金融和医学研究在内的广泛应用中很有用。我们在一系列开源联合学习框架中提供了对VLR的全面和严格的隐私分析，其中协议之间可能会有所不同，但是获得了获得本地梯度的过程。我们首先考虑了诚实而有趣的威胁模型，其中忽略了协议的详细实施，并且仅假定共享过程，我们将其作为甲骨文提取。我们发现，即使在这种一般环境下，在适当的批处理大小约束下，仍然可以从另一方恢复单维功能和标签，从而证明了遵循相同理念的所有框架的潜在脆弱性。然后，我们研究基于同态加密（HE）的协议的流行实例。我们提出了一种主动攻击，该攻击通过生成和压缩辅助密文来显着削弱对先前分析中批处理大小的约束。为了解决基于HE的协议中的隐私泄漏，我们基于差异隐私（DP）开发了一种简单的对策，并为更新的算法提供实用程序和隐私保证。最后，我们从经验上验证了我们对基准数据集的攻击和防御的有效性。总之，我们的发现表明，仅依靠他的所有垂直联合学习框架可能包含严重的隐私风险，而DP已经证明了其在水平联合学习中的力量，也可以在垂直环境中起着至关重要的作用，尤其是当耦合时使用HE或安全的多方计算（MPC）技术。

在本文中，我们提出了一种真正的群体级对比度视觉表示学习方法，其在Imagenet上的线性评估表现超过了香草的监督学习。两个主流的无监督学习方案是实例级对比框架和基于聚类的方案。前者采用了极为细粒度的实例级别歧视，由于虚假负面因素，其监督信号无法有效。尽管后者解决了这一点，但它们通常会受到影响性能的一些限制。为了整合他们的优势，我们设计了烟雾方法。烟雾遵循对比度学习的框架，但取代了对比度单元，从而模仿了基于聚类的方法。为了实现这一目标，我们提出了同步执行特征分组与表示学习的动量分组方案。通过这种方式，烟雾解决了基于聚类的方法通常面对的监督信号滞后问题，并减少了实例对比方法的错误负面因素。我们进行详尽的实验，以表明烟雾在CNN和变压器骨架上都很好地工作。结果证明，烟雾已经超过了当前的SOTA无监督的表示方法。此外，其线性评估结果超过了通过香草监督学习获得的性能，并且可以很好地转移到下游任务。

介绍了一种名为VMagent的新型模拟器，以帮助RL研究人员更好地探索新方法，特别是对于虚拟机调度。VMagent由实用虚拟机（VM）调度任务的启发，并提供了一个有效的仿真平台，可以反映云计算的实际情况。从实际云计算结束了三种情况（衰落，恢复和扩展），对应于许多强化学习挑战（高维度和行动空间，高于寿命和终身需求）。VMagent为RL研究人员提供了灵活的配置，以设计考虑不同的问题特征的定制调度环境。从VM调度角度来看，VMagent还有助于探索更好的基于学习的调度解决方案。

几乎所有知识库的陈述都有时间范围，在此期间它们有效。因此，在时间知识库（TKB）上的知识库完成（KBC），其中每个陈述\ TEXTIT {MAY}与时间范围相关联，引起了不断的关注。先前作品假设TKB \ Texit {必须}中的每个语句都与时间范围相关联。这忽略了kB中常规缺少的范围信息。因此，在此之前的工作通常不能处理通用用例，其中TKB由具有/没有已知的时间范围的时间语句组成。为了解决这个问题，我们建立了一个名为time2box的新知识库嵌入框架，可以同时处理不同类型的atemporal和时间陈述。我们的主要洞察力是时间查询的答案始终属于时间不可知的对应物的答案子集。换句话说，时间是一个过滤器，有助于在某些时期内挑选答案。我们介绍框以将一组答案实体代表到一个时间不可知的查询。时间过滤功能由这些框的交叉点建模。此外，我们概括了关于时间间隔预测的当前评估协议。我们描述了两个数据集上的实验，并表明所提出的方法优于链路预测和时间预测上的最先进的（SOTA）方法。

IARAI竞争交通4播2021旨在预测以前获得的静态和动态交通信息的短期城市广泛的高分辨率交通状态。目的是建立一种机器学习模型，用于使用历史数据点预测多个大型城市的归一化平均交通速度和流量。该模型应该是通用的，以便它可以应用于新城市。通过考虑时空特色的学习和建模效率，我们探索3Dresnet和稀疏的杂志，在这场比赛中的任务。基于3DRESNet的模型使用3D卷积来学习时空特征，并施加顺序卷积层以增强输出的时间关系。稀疏 - unet模型使用稀疏卷曲作为用于时空特征学习的骨干。由于后一种算法主要关注输入的非零数据点，因此它显着降低了计算时间，同时保持了竞争精度。我们的研究结果表明，两个建议的模型比基线算法实现了更好的性能。代码和预磨料模型可在https://github.com/resuly/traffic4cast-2021获得。